港中深团队打造新型AI评测集,或可成为数学大模型检验的重要基准
近日,港中来自香港中文大学(深圳)的深团数学一支科研团队通过求解器的引入,把大模型回答的队打大模庆阳市某某酸菜鱼专卖店数学模型交给求解器解决,进而通过比对求解器的造新重基准答案,得以成功判断数学模型的型A型检正确性。
这相当于为参加考试的测集成考生准备了高级计算器,只需输入方程就能得出准确答案。港中这样一来,深团数学就可以判断学生所写的队打大模方程是否正确。
基于这个理念,造新重基准该团队构建了一款名为 Mamo 的型A型检评测集,能够结合不同的测集成求解器评测大模型相应的建模能力。
未来,港中庆阳市某某酸菜鱼专卖店这一评测集可能会成为数学大模型检验的深团数学重要基准,从而能够用于测试新训练大模型的队打大模建模能力。
同时,本次评测集的出现,也让评测中间过程成为可能,有望带动运筹大模型的发展。
谈及本次课题的初衷,研究人员表示在讨论 AI for math、特别是讨论大模型 for math 的时候,他们重点讨论了使用大模型做定理证明的任务。
借此发现采用现有的形式化定理证明工具,可以自动地验证证明过程的正确性,从而确定大模型的证明是否正确。否则,用自动化的方式判断一段数学证明的正确性是比较困难的。
以此为启发:他们想知道在其他任务中,是否存在和形式化定理证明工具一样的东西?如果有的话,能否让他们以简单的方式判断大模型的答案是否正确?
于是他们想到了求解器。当给定目标之后,求解器可以帮助运行出对应问题/对应方程的解。
通过对不同解答的比对,就可以判断中间过程、也就是判断数学模型的正确性。
此外,一直以来,人们对于大模型的数学能力的比较,一直是在最终结果(即一道题的最终答案)上,但却缺乏对于中间过程的关注。
打个比方,就是像数学考试解答题的判卷中,只考虑最后的答案正不正确,而忽略了中间的解题过程。但是,中间的解题过程和答案一样重要。
因此,课题组希望把这个评价体系拆开,不再只是关注最终答案,而是关注中间的解题过程。于是,便开展了本次研究并发表了相关论文。
图 | 论文作者黄旭函(来源:黄旭函)
日前,相关论文以《Mamo: 一个带有求解器的数学建模基准》(Mamo: a Mathematical Modeling Benchmark with 求解器 s)为题发在arXiv[1]。
图 | 相关论文(来源:arXiv)
下一步,他们将扩充数据,同时探索能够适配 Mamo 的不同求解器种类,以及构建相应的评测集。
参考资料:
1.https://arxiv.org/pdf/2405.13144
(责任编辑:知识)
-
9月13日,教育部网站发布《2024年度普通高等学校本科专业申报材料公示》,根据公示统计,2024年度拟新增专业535个,涉及353所高校。 2024年度普通高等学校本科专业申报材料公示 ...[详细]
-
售价下调5000元,标致推出XP400ALLURE版,这次该有性价比了吧?
我是骑士参数丨图片)分享,不吹不黑聊摩托。你还在等本田的ADV350吧?可是这款车什么时候上市一直就没有个准信,这就让有些车型有了捷足先登的机会,比如大阳、力帆等品牌都推出过类似风格的同排量车型。就算 ...[详细] -
原标题:我科学家发现银河系晕里存在巨大磁环科技日报北京5月14日电 记者陆成宽)记者14日从中国科学院国家天文台获悉,通过分析银河系内的脉冲星和银河系外的射电源相关数据,该台科研人员发现银河系晕中有一 ...[详细]
-
作为全球第四大汽车制造商的“掌门人”,Stellantis集团全球CEO唐唯实Carlos Tavares)时隔半年再度来华,带来与零跑汽车合资公司正式组建完成的消息。Stellantis集团全球CE ...[详细]
-
中新经纬9月18日电 据北京市文化和旅游局18日消息,“中秋”假期期间,全市累计接待游客817.2万人次,全要素旅游消费金额103.6亿元;其中,重点监测212家旅游景区(地区)累计游客接待总量7 ...[详细]
-
小学生作文《爷爷》走红,一共只有26个字,却让老师感动到流泪
小学生写的作文,往往语言平实,表达也比较简单,有时候还会出现基本的语言错误,这和语文基础薄弱有很大的关系。虽然小学生掌握的词语和语法不多,但小学生的思维一般比较活泼,虽然有的时候写出来的作文不着边际, ...[详细] -
入学6年,gap3年后,名利双收的娜娜不过也才23岁。作者:祝无双。如果喜欢蓝橡树的文章,请记得要把我们“设为星标”哦!点击卡片,预约精彩直播一、从出现在大众视野里开始,欧阳娜娜从自带天才少女光环的国 ...[详细]
-
2024年是蔚来公司成立的第十年。5月15日,特意选择在国际家庭日这一天,在上海西岸穹顶艺术中心,蔚来公司正式发布全新品牌“ONVO乐道汽车”。其首款产品——家庭智能电动中型SUV乐道L60一并亮相并 ...[详细]
-
中国青年报客户端讯中青报·中青网记者 张敏)中青报·中青网记者从2024年服贸会“朝阳区国际消费中心城市主承载区建设”新闻发布会上获悉,今年前7个月,朝阳区社零额达1858亿元,全年有八大商业体开展更 ...[详细]
-
周末去露营 休闲添时尚健身新视野)2024-05-16 07:39:48 来源:人民日报 作者:唐炜妮 ...[详细]